大數據的紅與黑
世界正在步入IT革命和全球化的第二樂章—“云時代”。通過互聯網，數據中心的巨大計算和存儲功能像云彩般覆蓋世界的每一個角落。今天，無論是企業還是個人都可以超越國境便利和自由地利用高性能的云計算系統，人類的生活、工作和創業環境驟然劇變。
—《步入云時代》，周牧之
這是一個危機四伏的世界。自2008年美國次貸危機之后，緊接著就是歐洲主權債務危機。美國和歐洲兩大世界經濟的領航者都在衰退的邊緣徘徊，亞洲的日本經濟形勢難言樂觀，可怕的是，人們根本看不到走出危機的出路。金磚國家雖表現亮眼，但在全球一體化加速的情況下，卻也很難獨善其身。全世界似乎都被一種悲觀的情緒所籠罩。人們不禁要問，希望在哪里？
其實，每一個體系，每一種模式，雖然都是抽象的概念，但也像具體的物品一樣，會耗損、退化?？v觀歷史，這些陳舊的生活方式和生產方式，最終都逃脫不了被淘汰的命運。真正帶來變革的總是科技的創新和發展。這就意味著，人們面對危機時，最需要的是新的發展方向和動力，而不是在老化的零件上修修補補。正如，騎馬橫亙歐亞大陸耗時太長，如果眼光總在換一匹更好的馬，或是讓現有的馬跑得更快，終究只是權益之計。人類真正需要的，其實是現如今的汽車、高鐵、飛機。而因特網出現之后，人們如果只是想說話聊天，那么連跨越大陸、海洋的必要性都沒有了，因為網絡讓地理距離完全可以忽略不計。
現如今，最熱的話題就是云計算和大數據。人們對于這一變革的期待，完全可以媲美一次工業革命。人們常常覺得科技高深莫測，離自己頗有距離，但是實際上，大數據的時代在悄然中已經滲透到我們生活的方方面面。大數據最先被應用的領域，可能是消費領域，其次是電信。電信服務商們在嘗試使用大數據，以期對它們資本設備的使用進行優化。
大數據的應用前景
大數據在消費領域已經深深扎根。該領域首先使用大數據，因為大數據在這個領域的運用比較方便易行，不需要管制，而且消費者軟件比其他軟件的編寫也要快一些。例如，你在亞馬遜上買書，亞馬遜就會根據其他購書者的評價來給你推薦另外的書籍。在過去的幾年里，正是消費者以及針對消費者的軟件引領了大數據產業的發展，人們自身的想法通過數據達到彼此融合。游戲公司創造各種各樣的虛擬產品，利用大數據來分析消費者對虛擬產品的購買情況。舉個例子，游戲公司以人們買了多少虛擬雨傘作函數，來判斷外面是不是在下雨。從這里可以看出，虛擬世界和真實世界之間有著十分有趣的聯系。
運用大數據的領域可以涉及生活的方方面面。通用電氣公司曾有一個產業互聯網設想，其中提到，怎么連接各方，怎么從噴氣發動機和汽車引擎中獲取信息，以及怎么確保這些大型產業系統運行最優化。大數據在產業這里的運用可能是更為重要。同時，這一方面的運用真的能夠通過改變產品的本質和外觀，最終會改變世界。
通常來說，兩個飛機引擎在飛行的過程中能產生5T的數據。如果系統能分析這些信息，并在飛行員發現引擎溫度不對勁或者出現其他差錯之前，就將信息傳遞給飛行員，告知他引擎的運行狀態，以及是否存在其他問題，那么就能讓飛行安全得到進一步提高。航行當中的所有信息都能被適時告知非常的重要，它有時候能救人一命，這在空難多發的今天，特別有意義。此外，在醫療保健領域，大數據能結合每個人不同的特性，幫助打造更優的醫療方案。
數據過濾的重要性
數據很多，但無用的也很多。要么是沒有價值的，要么就直接是錯誤的。使用大數據的技術需要解決數據清理問題。取用數據的第一件事情就是要清理數據。甚至在將數據從數據源中取出放入存儲地之前，要先確認你輸入的數據是有效的。有時候，你要濾去5%的數據，有時候你甚至要忽略掉95%的數據，因為數據實在是太龐雜了。人們不應該存儲你不需要的數據，那樣做很浪費?，F在的技術可以幫助你將一件事情分成多步，使人們可以在存儲和加工前，去除許多你不需要的數據。
許多企業都希望能躋身于大數據的變革中來。許多人認為他們需要做的，就是取用他們能獲取的所有數據。這其實是不經濟的，因為數據量實在太大了。所以，需要更明確自身的需求。就像你在烘焙蛋糕一樣，你可能想把各種佐料都加進去，但是你不會在里面放紅辣椒，因為這和烘焙蛋糕不相關。所以，要以大數據為基礎解決問題，你就會希望去除不相關的數據，而把精力集中在那些有價值的數據上。
大數據對運算的挑戰
關于大數據有一個很有趣的地方。“大數據”這個名字來源于兩個方面。一方面是源于數據繁多，也就是我們為什么稱之為大數據。另一方面是源于數據的無序性。過去，計算機只能處理以一種形式輸入的數據。當你輸入的數據形式不對時，你要去重新調整它。大數據的本質就是能處理那些并非必要的數據。自從人們和企業開始處理非結構化的數據，他們就發明出了新的技術工具，比如說分布式計算。這些新的技術工具使得人們可以將數據以非結構化的形式儲存。
因為數據繁多，你不能總是帶著一臺主機，或者通過一臺超級計算機來瀏覽這些數據。你要做的是，將大問題化解成一系列的小問題，然后采用更加高效的運算體系來一一破解這些小問題。這就是“并行運算”。事實上，如果你去一趟谷歌的數據中心，你甚至看不見一臺主機，你看到的是許許多多的，和你的電腦一樣的主板。目前正在探索的領域是：將大問題拆解成小問題一一解決之后，再把結果合并在一起的能力。
云計算的未來
現在有許多關于利用大數據的設想和大計劃，但是為了實現這些，首先需要大運算。問題的關鍵在于，怎樣才能構建一個比70年代造出的計算機還要高效得多的運算系統呢？人們通過云計算來實現大運算。云計算使得哪怕憑借很便宜的組件，也能夠集合無窮大的處理能力。人們不再需要購買一個新的主板，因為一個數據中心或在多個數據中心的所有計算機都可以在云端為我所用。你想要多少處理能力，可以獲取多少，突然之間，你要應付成千上萬的硬盤和主板。當你不再需要這些處理能力的時候，你就把它們放回原處。云中心在不停運轉。確保這一運轉是順暢的就很重要，而這也是新技術的研究發展方向。
如果每個人都開始依賴這個體系，那么就需要保證具備足夠的處理能力。就好比，在炎熱的夏天，人們需要保證全市所有空調系統的電力供給。一旦出現意外，導致大家都不能使用空調，則是人們都不愿意看到的結果。在計算機運作中，效用計算就是這種“供給”。公共能源企業為我們提供電力、水和其他能源，而云計算企業為我們提供計算能力。過去，如果一家公司想要一個大型軟件，就需要購買成噸的服務器。今天，人們并不需要購買那么多的服務器了，因為可以租用，或是從運算服務的公司購買虛擬服務器。
大數據與黑客
每個人都擔心網站黑客，害怕數據泄露。想象一下，如果有網絡黑客攻擊了北京電網，不管是出于惡作劇還是出于恐怖襲擊的目的，他們都可以使得北京的電力系統陷入崩潰。
數據安全領域，實際上是一個硝煙彌漫的戰場，但人們卻并不一定清楚。在這個戰場上，有努力保護數據安全的好人，也有黑客和企圖闖入數據系統進行破壞的壞人。道高一尺，魔高一丈，這是一個無休止的問題。科技企業要先人一步，確保所掌握的技術比想要破壞數據的黑客和軟件恐怖分子領先。盡管目前存在許多種闖入電腦系統的方式，但是在系統真正受到侵害時，人們要確保有所察覺。以前病毒是這種危害唯一的來源，但不幸的是，目前這樣的來源很多。
在衡量數據遭侵害的風險和數據帶來的效用孰輕孰重時，總體而言，好的方面占上風。人們要做的只是確保對數據采取保護措施了。電子銀行是一個經典的例子。這想起來其實挺可怕的，因為人們也可能闖入你的電子銀行，偷走你的錢財。但是，你的生活現在能離得開電子銀行嗎？現在，我們考慮走回頭路已經為時過晚，我們已經做不到了。你也不希望在馬路上發生車禍，但是你更不愿意放棄開車。所以，這個產業最終會創造出許許多多的產品，來確保數據不受侵害，并保證各方面的安全。
未來的制造業要的不是石油，它最大的能源是數據.